home *** CD-ROM | disk | FTP | other *** search
/ Danny Amor's Online Library / Danny Amor's Online Library - Volume 1.iso / html / faqs / faq / os-research / part2 < prev    next >
Encoding:
Text File  |  1995-07-25  |  34.1 KB  |  892 lines

  1. Subject: Comp.os.research: Frequently answered questions [2/3]
  2. Newsgroups: comp.os.research,comp.answers,news.answers
  3. From: bosullvn@tcd.ie (Bryan O'Sullivan)
  4. Date: 1 Nov 1994 09:59:25 GMT
  5.  
  6. Archive-name: os-research/part2
  7. Version: $Revision: 1.18 $
  8. Last-Modified: $Date: 1994/08/29 14:16:07 $
  9.  
  10.         Answers to frequently asked questions
  11.           for comp.os.research: part 2 of 3
  12.  
  13.                Copyright (C) 1993, 1994
  14.                Bryan O'Sullivan
  15.  
  16.  
  17.  
  18.               TABLE OF CONTENTS
  19.  
  20.  
  21. 1.     Available software
  22. 1.1.   Where can I find Unix process checkpointing and restoration packages?
  23. 1.2.   What threads packages are available for me to use?
  24. 1.3.   Where can I find operating systems distributions?
  25. 1.3.1. Distributed systems and microkernels
  26. 1.3.2. Unix lookalikes
  27. 1.3.3. Others
  28.  
  29. 2.     Performance and workload studies
  30. 2.1.   TCP internetwork traffic characteristics
  31. 2.2.   File system traces
  32. 2.3.   Modern Unix file and block sizes
  33. 2.3.1. File sizes
  34. 2.3.2. Block sizes
  35. 2.3.3. Inode ratios
  36.  
  37. 3.     Papers, reports, and bibliographies
  38. 3.1.   From where are papers for distributed systems available?
  39. 3.2.   Where can I find other papers?
  40. 3.3.   Where can I find bibliographies?
  41.  
  42. 4.     General Internet-accessible resources
  43. 4.1.   Wide Area Information Service (WAIS) and World-Wide Web (WWW) servers
  44. 4.2.   Refdbms---a distributed bibliographic database system
  45. 4.3.   Willow -- the information looker-upper
  46. 4.4.   The comp.os.research archive
  47.  
  48. 5.     Disclaimer and copyright
  49.  
  50.  
  51. ------------------------------
  52. Subject: [1] Available software
  53. From: Available software
  54.  
  55. This section covers various software packages, operating systems
  56. distributions, and miscellaneous other such items which may be of
  57. interest to the operating systems research community.  If you have
  58. written, or know of, some software which you believe would be of
  59. fairly wide interest, please get in touch with the FAQ maintainer with
  60. a view to having a short spiel and availability information included
  61. here.
  62.  
  63. ------------------------------
  64. Subject: [1.1] Where can I find Unix process checkpointing and restoration packages?
  65. From: Available software
  66.  
  67. - [93-01-21-10-18.30] The Condor system is available via anonymous ftp
  68.   from ftp.cs.wisc.edu.  Condor works entirely at user level [no
  69.   kernel modifications required] but doesn't currently support
  70.   interprocess communication, signals, or fork().  Definitely worth a
  71.   look.
  72.  
  73. - Bennet S Yee implemented a `mostly portable' checkpoint and restore
  74.   package back around 1987.  When the programmer invokes the
  75.   checkpoint procedure, it saves the state to a file; when a second
  76.   process with the same program (but with different arguments) is
  77.   started which calls the restore procedure, it reads the old state
  78.   from the file.  Available via anonymous ftp from
  79.   play.trust.cs.cmu.edu:usr/bsy/pub/save_world.shar.Z.  This package
  80.   is known to work for Pmaxen, Sun4's, Sun3's, IBM RTs, and VAXen.
  81.   Porting it to a new architecture should be relatively simple -- look
  82.   at the README file.
  83.  
  84. ------------------------------
  85. Subject: [1.2] What threads packages are available for me to use?
  86. From: Available software
  87.  
  88. - [93-02-01-10-15.15] For DEC customers, versions of VMS after 5.5 and
  89.   Ultrix after 4.3 include bundled threads packages which implement
  90.   both DEC's proprietary CMA and draft 4 of IEEE Pthreads.
  91.  
  92. - SunOS 4.x provides, as standard, a lightweight process (lwp) library
  93.   which isn't compatible with anything else currently available;
  94.   Solaris 2.x comes with a threads library which is incompatible with
  95.   lwp as well as everything else.
  96.  
  97. - The POSIX / Ada-Runtime Project (PART) has made available an
  98.   implementation of draft 6 of the POSIX 1003.4a Pthreads
  99.   specification, which runs under SunOS 4.x; the current release is
  100.   version 1.20.  Available using anonymous ftp from
  101.   ftp.cs.fsu.edu:pub/PART.
  102.  
  103. - Another POSIX thread package is available via anonymous ftp from
  104.   sipb.mit.edu:pub/pthreads; it is based on draft 8 of the POSIX
  105.   thread standard.  It currently runs on NetBSD 0.9, FreeBSD 1.1,
  106.   Linux 1.0, Ultrix 4.2 for the DECstation, SunOS 4.1.3 for the SPARC,
  107.   and HP/UX 9.03 for the PA/RISC.  The latest version is 1.27 and
  108.   contains a thread safe stdio, malloc and free, and properly behaving
  109.   sleep, read, and write functions that only block the current thread,
  110.   not the process.  For more information, contact Christopher
  111.   Provenzano <proven@mit.edu>.
  112.  
  113. - Stephen Crane has written a `fairly portable' threads package,
  114.   which runs under Sun 3, Sun 4, MIPS/RISCos, Linux, and 386BSD.  It
  115.   is available via anonymous ftp from dse.doc.ic.ac.uk:rex/lwp.tar.gz,
  116.   with documentation in the same directory named lwp.ps.gz.
  117.  
  118. - QuickThreads is a toolkit for building threads packages, written by
  119.   David Keppel.  It is available via anonymous ftp from
  120.   ftp.cs.washington.edu:pub/qt-001.tar.Z, with an accompanying tech
  121.   report at ftp.cs.washington.edu:tr/1993/05/UW-CSE-93-05-06.PS.Z.
  122.   The code as distributed includes ports for the Alpha, x86, 88000,
  123.   MIPS, SPARC, VAX, and KSR1.
  124.   
  125. [DCE threads? cthreads? pthreads implementations? others?]
  126.  
  127. ------------------------------
  128. Subject: [1.3] Where can I find operating systems distributions?
  129. From: Available software
  130.  
  131. This section covers the availability of several well-known systems;
  132. the only criterion for inclusion of a system here is that it be of
  133. interest to some segment of the OS research community (commercial
  134. systems will be accepted for inclusion, so long as they are pertinent
  135. to research).
  136.  
  137. ------------------------------
  138. Subject: [1.3.1] Distributed systems and microkernels
  139. From: Available software
  140.  
  141. See part one of the FAQ for further information on some of the systems
  142. listed below.
  143.  
  144. - [93-03-31-22-49.53] ACE is the distribution, support and sales
  145.   channel for Amoeba.  `Due to overwhelming response from non-profit
  146.   organisations wishing to obtain Amoeba for their research
  147.   activities', VU is offering Amoeba 5.2 to research institutions for
  148.   more or less free (via ftp at no charge, or on tape for $500 on
  149.   Exabyte or $800 on QIC-24).  Amoeba currently supports 68020 and
  150.   68030-based VME board machines, as well at i386- and i486-based AT
  151.   PCs and Sun 3 and 4 machines.
  152.  
  153.   For further information on `commercial' Amoeba, you can contact ACE
  154.   by email at <amoeba@ace.nl>, by phone at +31 20 664 6416, or by fax
  155.   at +31 20 675 0389.  Universities interested in obtaining a license
  156.   should send mail to <amoeba-license@cs.vu.nl>, or fax to +31 20 642
  157.   7705.
  158.  
  159. - Chorus Systemes has special programmes for universities interested
  160.   in using Chorus.  For more information on the offerings available,
  161.   conditions, and other details, ftp to ftp.chorus.fr and get the
  162.   following ASCII files:
  163.     pub/README
  164.     pub/academic/README
  165.     pub/academic/offerings
  166.  
  167. - The Cronus object-oriented distributed system may be obtained via
  168.   ftp from pineapple.bbn.com; email <cronus-help@bbn.com> for
  169.   details of the account name and password.  Before attempting to get
  170.   the Cronus distribution, you must obtain, via anonymous ftp,
  171.   pineapple.bbn.com:Cronus-via-FTP-Terms.  Maintenance, hotline
  172.   support, and training for Cronus are available from BBN.  Send email
  173.   to the above address for information on these, or on obtaining a
  174.   commercial license.
  175.  
  176. - Horus is available for research use; contact Ken Birman
  177.   <ken@cs.cornell.edu> or Robbert van Renesse <rvr@cs.cornell.edu> for
  178.   details.
  179.  
  180. - Isis has not been publicly available since 1989, but may (I'm not
  181.   sure) still be obtained using anonymous ftp from ftp.uu.net or
  182.   ftp.cs.cornell.edu.  After 1989, the code was picked up by Isis
  183.   Distributed Systems, which has subsequently developed and supported
  184.   it.  The commercial version of Isis (available `at very low cost' to
  185.   academic institutions) is available from the company.  Email
  186.   <info@isis.com> for information, or call +1-212-979-7729 or
  187.   +1-607-272-6327.
  188.  
  189. - [92-09-19-08-55.18] Plan 9 is available to academic institutions on
  190.   CD-ROM; the distribution consists of around 350MB of source and
  191.   binaries.  For information on how to go about getting a license,
  192.   contact
  193.     Neera Kuckreja
  194.     AT&T Bell Laboratories
  195.     Room 2C-557
  196.     Murray Hill, NJ 07974
  197.     United States
  198.  
  199.     +1 (908) 582 3855
  200.     neera@research.att.com
  201.   As of September 1992, kernels existed for the Sun SLC, Sun4Cs of
  202.   various types, NeXTstations, MIPS Magnum 3000, SGI 4D series,
  203.   Gateway 486, AT&T Safari, `a whole bunch of' other PCs, and the
  204.   Gnot.
  205.  
  206.   Sydney University Basser Department of Computer Science has a port
  207.   of Plan 9 underway to the DEC Alpha at the moment.  A port to the
  208.   Sun 3 has been completed.  Contact <plan9info@cs.su.oz.au> for
  209.   details.
  210.  
  211. - QNX is available for academic applications through an education
  212.   support programme run by QNX Software Systems, whereby QNX systems
  213.   can be obtained for educational purposes at very low cost.  For
  214.   commercial and education availability and pricing, contact:
  215.     QNX Software Systems        QNX Software Systems
  216.     175 Terrence Matthews Cr.    Westendstr. 19
  217.     Kanata, Ontario K2M 1W8        6000 Frankfurt am Main 1
  218.     Canada                Germany
  219.  
  220.     1 800 363 9001            +49 69 9754 6156 x299
  221.     +1 (613) 591 0931
  222.     +1 (613) 591 3579 (fax)        +49 69 9754 6110 (fax)
  223.   Versions after 4.2 of QNX run on the i386 and later processors, with
  224.   a 16-bit kernel included for i286 machines.  Native optimisations
  225.   and a compiler for the Pentium are also included.  Further marketing
  226.   information can be obtained on the World Wide Web from
  227.   http://www.vir.com/vir/QNX-info1.html.
  228.  
  229. - [93-02-07-16-03.48] The Sprite Network Operating System is available
  230.   on CD-ROM.  The disc contains the source code and documentation for
  231.   Sprite, a research operating system developed at the University of
  232.   California, Berkeley.  All the research papers from the Sprite
  233.   project are also included on the disc.  This software on this disc
  234.   is primarily intended for research purposes, and is not really
  235.   intended to be used as a production system.  Boot images are
  236.   provided for Sun SPARCstations and DECstations.  The CD-ROM is in
  237.   ISO-9660 format with Rock Ridge extensions.  The disc contains about
  238.   550 megabytes of software.
  239.  
  240.   You can get an overview of the Sprite Project, and a complete list
  241.   of what is on this disc, by anonymous ftp from
  242.   cdrom.com:pub/cdroms/sprite.
  243.  
  244.   If you would like a CD-ROM please send $25.  Add $4.95 if you would
  245.   like a caddy too.  S&H is $5 (per order, not per disc) for
  246.   US/Can/Mex, and $10 for overseas.  If you live in California, please
  247.   add sales tax.  You can send a check or money order, or you can
  248.   order with Mastercard/Visa/AmEx.
  249.     Bob Bruce <rab@cdrom.com>
  250.     Walnut Creek CDROM
  251.     1547 Palos Verdes Mall, Suite 260
  252.     Walnut Creek, CA 94596
  253.     United States
  254.  
  255.        1 800 786-9907 (USA only)
  256.       +1 510 947-5996
  257.       +1 510 947-1644 (fax)
  258.  
  259. - VSTa is a copylefted system written by Andrew Valencia
  260.   <vandys@cisco.com> which uses ideas from several research operating
  261.   systems in its implementation.  It is currently in an `experimental
  262.   but usable' state, and supports `lots of' POSIX, and runs on a
  263.   number of different PC configurations.  For further information,
  264.   send mail to <vsta-request@cisco.com>, or ftp to
  265.   ftp.cygnus.com:pub/embedded/vsta.
  266.  
  267. [Mach, Chorus, Clouds?, Choices?]
  268.  
  269. ------------------------------
  270. Subject: [1.3.2] Unix lookalikes
  271. From: Available software
  272.  
  273. - Linux is available via anonymous ftp from
  274.   tsx-11.mit.edu:pub/linux, ftp.funet.fi:pub/OS/Linux, and
  275.   sunsite.unc.edu:pub/Linux.  It is a freely-distributable System
  276.   V compatible Unix, and is covered by the GNU General Public License.
  277.   Linux runs on ISA bus PCs with i386 or better CPUs and at least 4
  278.   megabytes to run.
  279.  
  280. - 386BSD is available via ftp from agate.berkeley.edu:pub/386BSD or
  281.   ftp.uu.net:systems/unix/386BSD.  It lies mid-way between 4.3BSD Reno
  282.   and 4.4BSD internally, and contains no AT&T-copyrighted code.
  283.   386BSD runs on ISA bus PCs with i386 or better CPUs.
  284.  
  285. - NetBSD is available via ftp from agate.berkeley.edu:pub/NetBSD.
  286.  
  287. - FreeBSD is available via ftp from freebsd.cdrom.com:pub/FreeBSD,
  288.   ftp.cosy.sbg.ac.at:pub/mirror/FreeBSD, and
  289.   pdq.coe.montana.edu:pub/mirrors/unix/freebsd.
  290.  
  291. - The Hurd is the GNU operating system, being written by Michael
  292.   Bushnell.  It is based on Mach 3.0, and should be available on most
  293.   systems to which Mach has been ported.  A preliminary runnable image
  294.   may be fetched from alpha.gnu.ai.mit.edu:gnu/hurd-snap.tar.gz.
  295.  
  296. ------------------------------
  297. Subject: [1.3.3] Others
  298. From: Available software
  299.  
  300. [93-03-18-10-19.02] Microsoft is making sources of Windows NT
  301. available under license to universities and research laboratories.
  302. You should have the appropriate officials contact Mark Lewin
  303. <marklew@microsoft.com> to get started on this process.
  304.  
  305.  
  306.  
  307. ------------------------------
  308. Subject: [2] Performance and workload studies
  309. From: Performance and workload studies
  310.  
  311. This section covers various different publicly-available traces and
  312. studies, libraries and source distributions, which may be of use.
  313.  
  314. ------------------------------
  315. Subject: [2.1] TCP internetwork traffic characteristics
  316. From: Performance and workload studies
  317.  
  318. - [92-10-20-15-04.39] Peter Danzig and Sugih Jamin of USC have made
  319.   available a report and a source library which simulates realistic
  320.   day-to-day network traffic between nodes.  The library, tcplib, `is
  321.   motivated by our observation that present-day wide-area tcp/ip
  322.   traffic cannot be accurately modeled with simple analytical
  323.   expressions, but instead requires a combination of detailed
  324.   knowledge of the end-user applications responsible for the traffic
  325.   and certain measured probability distributions'.
  326.  
  327.   The technical report and the source library it describes are
  328.   available via anonymous ftp from
  329.   jerico.usc.edu:pub/jamin/tcplib.  All you need to transfer to
  330.   use the library are: README, brkdn_dist.h, tcpapps.h, tcplib.1, and
  331.   one of libtcp* that matches your setup.  You need tcplib.tar.Z only
  332.   if you must generate the library yourself.  The file tcplibtr.ps.Z
  333.   is the PostScript version of the report.  The authors may be
  334.   contacted at <traffic@excalibur.usc.edu>.
  335.  
  336. - [93-08-09-15-15.54] Vern Paxson of Lawrence Berkeley Laboratories
  337.   has a report available via anonymous ftp which describes analytic
  338.   models for wide-area TCP connections based upon a set of wide-area
  339.   traffic traces.  The report may be obtained from
  340.   ftp.ee.lbl.gov:WAN-TCP-models.{1,2}.ps.Z.
  341.  
  342. - [93-05-13-10-54.09] Vern Paxson also has made available another
  343.   report, ftp.ee.lbl.gov:WAN-TCP-growth-trends.ps.Z, which provides an
  344.   analysis of the growth trends of a medium-sized research
  345.   laboratory's wide-area TCP connections over a period of more than
  346.   two years.
  347.  
  348. ------------------------------
  349. Subject: [2.2] File system traces
  350. From: Performance and workload studies
  351.  
  352. - Chris Ruemmler has done a study on low-level disk access patterns
  353.   for a workstation, a server, and a time-shared system which appeared
  354.   in the Winter 1993 USENIX proceedings.  A copy may be obtained via
  355.   anonymous ftp from ftp.hpl.hp.com:wilkes/HPL-92-152.ps.Z.
  356.  
  357. - Stephen Russell <smr@cs.unsw.oz.au> has instrumented the SunOS 4.1.x
  358.   kernel running on Sun 3 machines.  The system allows time-stamped
  359.   event records to be obtained from various points in the kernel.
  360.   Events can be categorised (eg, paging, file system, etc), and are
  361.   read via pseudo-devices.  Ioctl calls allow substreams to be
  362.   enabled/disabled, buffer status checked, etc.  An external high
  363.   resolution timer is used for timestamping.
  364.  
  365. - [93-05-09-09-23.32] The traces used in `Measurements of a
  366.   distributed file system' (SOSP 1991) may be obtained via anonymous
  367.   ftp from sprite.berkeley.edu:pub/sosp-traces.  An accompanying
  368.   PostScript file, written by John H. Hartman
  369.   <jhh@sprite.berkeley.edu>, which describes the trace file format,
  370.   how to interpret the trace records, and other information may be
  371.   found in the above directory as sospTraces.ps.Z.
  372.  
  373. - [93-06-18-13-02.48] Hidehiro Ishii <ishii@tsl.cl.nec.co.jp> has
  374.   written a system which traces the NFS accesses seen by an NFS server
  375.   and calculates statistics based on such traces.  Contact the author
  376.   for details.
  377.  
  378. ------------------------------
  379. Subject: [2.3] Modern Unix file and block sizes
  380. From: Performance and workload studies
  381.  
  382. The following sections are lifted more or less verbatim from a number
  383. of traces which were co-ordinated and analysed by Gordon Irlam
  384. <gordoni@home.base.com>.  The numbers quoted below are based on Unix
  385. file size data for 12 million files, residing on 1000 file systems,
  386. with a total size of 250 gigabytes.
  387.  
  388. Further information may be obtained on the World Wide Web at
  389. http://www.base.com/gordoni/ufs93.html.
  390.  
  391. ------------------------------
  392. Subject: [2.3.1] File sizes
  393. From: Performance and workload studies
  394.  
  395. There is no such thing as an average file system.  Some file systems
  396. have lots of little files.  Others have a few big files.  However as a
  397. mental model the notion of an average file system is invaluable.
  398.  
  399. The following table gives a break down of file sizes and the amount of
  400. space they consume.
  401.  
  402.    file size       #files  %files  %files   disk space  %space  %space
  403. (max. bytes)                        cumm.         (Mb)           cumm.
  404.            0       147479     1.2     1.2          0.0     0.0     0.0
  405.            1         3288     0.0     1.2          0.0     0.0     0.0
  406.            2         5740     0.0     1.3          0.0     0.0     0.0
  407.            4        10234     0.1     1.4          0.0     0.0     0.0
  408.            8        21217     0.2     1.5          0.1     0.0     0.0
  409.           16        67144     0.6     2.1          0.9     0.0     0.0
  410.           32       231970     1.9     4.0          5.8     0.0     0.0
  411.           64       282079     2.3     6.3         14.3     0.0     0.0
  412.          128       278731     2.3     8.6         26.1     0.0     0.0
  413.          256       512897     4.2    12.9         95.1     0.0     0.1
  414.          512      1284617    10.6    23.5        566.7     0.2     0.3
  415.         1024      1808526    14.9    38.4       1442.8     0.6     0.8
  416.         2048      2397908    19.8    58.1       3554.1     1.4     2.2
  417.         4096      1717869    14.2    72.3       4966.8     1.9     4.1
  418.         8192      1144688     9.4    81.7       6646.6     2.6     6.7
  419.        16384       865126     7.1    88.9      10114.5     3.9    10.6
  420.        32768       574651     4.7    93.6      13420.4     5.2    15.8
  421.        65536       348280     2.9    96.5      16162.6     6.2    22.0
  422.       131072       194864     1.6    98.1      18079.7     7.0    29.0
  423.       262144       112967     0.9    99.0      21055.8     8.1    37.1
  424.       524288        58644     0.5    99.5      21523.9     8.3    45.4
  425.      1048576        32286     0.3    99.8      23652.5     9.1    54.5
  426.      2097152        16140     0.1    99.9      23230.4     9.0    63.5
  427.      4194304         7221     0.1   100.0      20850.3     8.0    71.5
  428.      8388608         2475     0.0   100.0      14042.0     5.4    77.0
  429.     16777216          991     0.0   100.0      11378.8     4.4    81.3
  430.     33554432          479     0.0   100.0      11456.1     4.4    85.8
  431.     67108864          258     0.0   100.0      12555.9     4.8    90.6
  432.    134217728           61     0.0   100.0       5633.3     2.2    92.8
  433.    268435456           29     0.0   100.0       5649.2     2.2    95.0
  434.    536870912           12     0.0   100.0       4419.1     1.7    96.7
  435.   1073741824            7     0.0   100.0       5004.5     1.9    98.6
  436.   2147483647            3     0.0   100.0       3620.8     1.4   100.0
  437.  
  438. A number of observations can be made:
  439.   - the distribution is heavily skewed towards small files
  440.   - but it has a very long tail
  441.   - the average file size is 22k
  442.   - pick a file at random: it is probably smaller than 2k
  443.   - pick a byte at random: it is probably in a file larger than 512k
  444.   - 89% of files take up 11% of the disk space
  445.   - 11% of files take up 89% of the disk space
  446.  
  447. Such a heavily skewed distribution of file sizes suggests that, if one
  448. were to design a file system from scratch, it might make sense to
  449. employ radically different strategies for small and large files.
  450.  
  451. The seductive power of mathematics allows us treat a 200 byte and a
  452. 2MB file in the same way.  But do we really want to?  Are there any
  453. problems in engineering where the same techniques would be used in
  454. handling physical objects that span 6 orders of magnitude?
  455.  
  456. A quote from sci.physics that has stuck with me: `When things change
  457. by 2 orders of magnitude, you are actually dealing with fundamentally
  458. different problems'.
  459.  
  460. People I trust say they would have expected the tail of the above
  461. distribution to have been even longer.  There are at least some files
  462. in the 1-2G range.  They point out that DBMS shops with really large
  463. files might have been less inclined to respond to a survey like this
  464. than some other sites.  This would bias the disk space figures, but it
  465. would have no appreciable effect on file counts.  The results gathered
  466. would still be valuable because many static disk layout issues are
  467. determined by the distribution of small files and are largely
  468. independent of the potential existence of massive files.
  469.  
  470. (It should be noted that many popular DBMSs, such as Oracle, Sybase,
  471.  and Informix, use raw disk partitions instead of Unix file systems
  472.  for storing data, hence the difficulty in gathering data about them
  473.  in a uniform way.)
  474.  
  475. ------------------------------
  476. Subject: [2.3.2] Block sizes
  477. From: Performance and workload studies
  478.  
  479. The last block of a file is normally only partially occupied, and so
  480. as block sizes are increased so too will the the amount of wasted disk
  481. space.
  482.  
  483. The following historical values for the design of the BSD FFS are
  484. given in `Design and implementation of the 4.3BSD Unix operating
  485. system':
  486.  
  487. fragment size   overhead
  488.    (bytes)        (%)
  489.       512         4.2
  490.      1024         9.1
  491.      2048        19.7
  492.      4096        42.9
  493.  
  494. Files have clearly gotten larger since then; I obtained the following
  495. results:
  496. fragment size   overhead
  497.    (bytes)        (%)
  498.       128         0.3
  499.       256         0.6
  500.       512         1.1
  501.      1024         2.5
  502.      2048         5.4
  503.      4096        12.3
  504.      8192        27.8
  505.     16384        61.2
  506.  
  507. By default the BSD FFS typically uses a 1k fragment size.  Perhaps
  508. this size is no longer optimal and should be increased.
  509.  
  510. (The FFS block size is constrained to be no more than 8 times the
  511.  fragment size.  Clustering is a good way to improve throughput for
  512.  FFS based file systems, but it doesn't do very much to reduce the not
  513.  insignificant FFS computational overhead.)
  514.  
  515. It is interesting to note that even though most files are less than 2K
  516. in size, having a 2K block size wastes very little space, because disk
  517. space consumption is so totally dominated by large files.
  518.  
  519. ------------------------------
  520. Subject: [2.3.3] Inode ratios
  521. From: Performance and workload studies
  522.  
  523. The BSD FFS statically allocates inodes.  By default one inode is
  524. allocated for every 2K of disk space.  Since an inode consumes 128
  525. bytes this means that by default 6.25% of disk space is consumed by
  526. inodes.
  527.  
  528. It is important not to run out of inodes since any remaining disk
  529. space is then effectively wasted.  Despite this allocating 1 inode for
  530. every 2K is excessive.
  531.  
  532. For each file system studied I worked out the minimum sized disk it
  533. could be placed on.  Most disks needed to be only marginally larger
  534. than the size of their files, but a few disks, having much smaller
  535. files than average, needed a much larger disk---a small disk had
  536. insufficient inodes.
  537.  
  538. bytes per   overhead
  539.   inode       (%)
  540.    1024      12.5
  541.    2048       6.3
  542.    3072       4.5
  543.    4096       4.2
  544.    5120       4.4
  545.    6144       4.9
  546.    7168       5.5
  547.    8192       6.3
  548.    9216       7.2
  549.   10240       8.3
  550.   11264       9.5
  551.   12288      10.9
  552.   13312      12.7
  553.   14336      14.6
  554.   15360      16.7
  555.   16384      19.1
  556.   17408      21.7
  557.   18432      24.4
  558.   19456      27.4
  559.   20480      30.5
  560.  
  561. Clearly, the current default of one inode for every 2K of data is too
  562. small.  Earlier results suggested that allocating one inode for every
  563. 5-6k was in some sense optimal, and allocating one inode for every 8k
  564. would only be 0.4% worse.  The new data suggests one inode for every
  565. 4k is optimal, and allocating one inode for every 8k would be 2.1%
  566. worse.
  567.  
  568. The analysis technique I used is very sensitive to even a few file
  569. systems with very small files.
  570.  
  571. The main source of file systems with lots of small files would appear
  572. to be netnews servers.  The typical Usenet message would appear to be
  573. 1-2k in length.  Ignoring such file systems would drastically alter
  574. the conclusions I reach.  If, as I believe might already be the case,
  575. news servers are manually tuned to have a lower than normal bytes per
  576. inode ratio, it would then be possible to justify setting the default
  577. ratio much higher.
  578.  
  579. Clearly it is best if the file system dynamically allocate inodes; I
  580. believe AIX does this for instance.  Systems that statically allocate
  581. inodes should probably increase the bytes per inode ratio, but it is
  582. not clear to exactly what value.  The engineer in me says `it is
  583. important to play this one conservatively: stick to 6k', the artist
  584. goes `as Chris Torek says: aesthetics, 8k'.
  585.  
  586.  
  587.  
  588. ------------------------------
  589. Subject: [3] Papers, reports, and bibliographies
  590. From: Papers, reports, and bibliographies
  591.  
  592. Network-available documents are listed in this section.  I'd like to
  593. see information for obtaining other sets of reports which aren't
  594. electronically-available included here as well, at some stage.
  595.  
  596. ------------------------------
  597. Subject: [3.1] From where are papers for distributed systems available?
  598. From: Papers, reports, and bibliographies
  599.  
  600. Amoeba
  601.     ftp.cs.vu.nl:amoeba
  602.     ftp.cse.ucsc.edu:pub/amoeba
  603.  
  604. Arjuna
  605.     arjuna.ncl.ac.uk:pub/Arjuna
  606.  
  607. Choices
  608.     choices.cs.uiuc.edu:Papers
  609.  
  610. Chorus
  611.     ftp.chorus.fr:pub/chorus-reports
  612.     cse.ogi.edu:pub/chorus/reports
  613.  
  614. Clouds
  615.     helios.cc.gatech.edu:pub/papers
  616.  
  617. Cronus
  618.     pineapple.bbn.com:doc
  619.  
  620. Guide
  621.     ftp.imag.fr:pub/GUIDE/doc
  622.  
  623. Horus
  624.     ftp.cs.cornell.edu:pub/Horus
  625.  
  626. Isis
  627.     ftp.cse.ucsc.edu:pub/bib/isis.bib
  628.     ftp.cs.cornell.edu:pub
  629.  
  630. Mach
  631.     mach.cs.cmu.edu:doc
  632.  
  633. Plan 9
  634.     research.att.com:dist/plan9doc
  635.     research.att.com:dist/plan9man
  636.  
  637. Spring
  638.     http://www.sun.com/technology-research/spring
  639.  
  640. X kernel
  641.     cs.arizona.edu:pub/xkernel
  642.  
  643. Papers covering Amoeba, Choices, Chorus, Clouds, the Hurd, Guide,
  644. Mach, Mars, NonStop, and Plan 9 are also available via anonymous ftp
  645. from ftp.funet.fi:pub/doc/OS.
  646.  
  647. [I'd like to find the authoritative home for V---Mars and NonStop are
  648.  a bit more obscure, I think; they certainly aren't asked after much]
  649.  
  650. ------------------------------
  651. Subject: [3.2] Where can I find other papers?
  652. From: Papers, reports, and bibliographies
  653.  
  654. Angel
  655.     ftp.cs.city.ac.uk:papers
  656.  
  657. Mungi
  658.     ftp.vast.unsw.edu.au:pub/Mungi
  659.  
  660. KeyKOS
  661.     cs.dartmouth.edu:pub/sasos/papers/KeyKOS
  662.  
  663. QNX [93-09-19-22-22.26]
  664.     ftp.cse.ucsc.edu:pub/qnx
  665.     ftp.qnx.com:pub/papers
  666.  
  667. Solaris 2.x [93-02-23-12-12.43]
  668.     opcom.sun.ca:pub/docs/papers
  669.     opcom.sun.ca:pub/docs/solaris
  670.  
  671. Windows NT [92-09-18-11-46.16]
  672.     ftp.uu.net:vendor/microsoft/win32-api
  673.     ftp.uu.net:vendor/microsoft/isv-communications
  674.  
  675. ------------------------------
  676. Subject: [3.3] Where can I find bibliographies?
  677. From: Papers, reports, and bibliographies
  678.  
  679. Load balancing
  680.     ftp.cse.ucsc.edu:pub/bib/load-balancing.bib
  681.  
  682. Mobile computing
  683.     ftp.comp.lancs.ac.uk:pub/mpg
  684.  
  685. Multimedia operating systems [94-04-15-23-29.51]
  686.     cs.ucsd.edu:pub/multimedia
  687.     ftp.cse.ucsc.edu:pub/bib/mmos.bib
  688.  
  689. Object-oriented operating systems
  690.     ftp.cse.ucsc.edu:pub/bib/ooos.bib.Z
  691.     ftp.inria.fr:INRIA/bib/ooos.bib.gz
  692.  
  693. Parallel and distributed I/O
  694.     ftp.cse.ucsc.edu:pub/bib/io.bib
  695.  
  696. Recommended books
  697.     ftp.maths.tcd.ie:pub/bosullvn/comp.os.research/recommended.bib
  698.  
  699. Sprite network operating system
  700.     sprite.berkeley.edu:pub/sprite
  701.  
  702. See also the section on General Net Resources.
  703.  
  704. [There's quite a lot more at ftp.cse.ucsc.edu:pub/bib, if anyone
  705.  wants to add more to this list.]
  706.  
  707.  
  708.  
  709. ------------------------------
  710. Subject: [4] General Internet-accessible resources
  711. From: General Internet-accessible resources
  712.  
  713. This section contains information about a variety of services
  714. available to the OS research community via the Internet.
  715.  
  716. ------------------------------
  717. Subject: [4.1] Wide Area Information Service (WAIS) and World-Wide Web (WWW) servers
  718. From: General Internet-accessible resources
  719.  
  720. [92-09-21-16-38.23] Loughborough University high-performance
  721. networking and distributed systems archive may be accessed via World
  722. Wide Web at http://hill.lut.ac.uk/DS-Archive/.  This archive contains,
  723. according to Jon Knight <J.P.Knight@lut.ac.uk>, the organiser:
  724.  
  725. - Technical reports and papers written at LUT by the networks and
  726.   distributed systems researchers in the Department of Computer
  727.   Studies.
  728.  
  729. - Technical reports, papers and theses which have been produced at
  730.   other sites and then made available for public electronic access.
  731.  
  732. - Software which is of use in research or which has been produced by a
  733.   specific research project.
  734.  
  735. - Details of relevant conferences, collected from a variety of sources
  736.   (USENET, email, flyers, etc).
  737.  
  738. - Information on ongoing research projects.
  739.  
  740. - Bibliographies that have been generated for research at LUT and also
  741.   access to other WAIS indexed bibliographies, both at LUT and
  742.   elsewhere.
  743.  
  744. - A list of contacts in the field, with details of their research
  745.   interests.  This is entirely voluntary (i.e. people have agreed to
  746.   Jon entering their details rather than him just rooting round the
  747.   Internet to build up the information).
  748.  
  749. Carnegie Mellon University's computer science department has a home
  750. page for the Mach project at the following URL:
  751. http://www.cs.cmu.edu:8001/afs/cs.cmu.edu/project/mach/public/www/mach.html.
  752.  
  753. Bibliographies in the comp.os.research collection are accessible via
  754. WAIS from UCSC.
  755.     (:source 
  756.      :version  3 
  757.      :ip-address "128.114.134.19"
  758.      :ip-name "ftp.cse.ucsc.edu"
  759.      :tcp-port 210
  760.      :database-name "os-bibliographies"
  761.      :cost 0.00 
  762.      :cost-unit :free 
  763.      :maintainer "paul@cse.ucsc.edu"
  764.      :description "Server created with WAIS release 8 b5
  765.         on Jul 9 22:38:27 1992 by paul@cse.ucsc.edu
  766.         The files of type bibtex used in the index
  767.         were: /home/ftp/pub/bib"
  768.     )
  769.  
  770.  
  771. ------------------------------
  772. Subject: [4.2] Refdbms---a distributed bibliographic database system
  773. From: General Internet-accessible resources
  774.  
  775. [92-10-01-11-39.32] The 13th alpha release of refdbms version 3,
  776. developed by John Wilkes of the Concurrent Systems Project at
  777. Hewlett-Packard Laboratories and Richard Golding of the Concurrent
  778. Systems Laboratory at UC Santa Cruz, is now available.  It can be
  779. obtained by anonymous ftp from ftp.cse.ucsc.edu:pub/refdbms.  The
  780. system has been tested on Sun 3 and 4 systems running SunOS 4.1.x, and
  781. on DECstations running Ultrix 4.1.  It is an experiment in building
  782. weak-consistency wide-area distributed applications, and the databases
  783. currently available for the system have a good systems coverage.
  784.  
  785. The system includes tools to query the database, to produce
  786. bibliographies for LaTeX documents, and to enter new references into
  787. the database.  It is part of ongoing research into wide-area
  788. distributed information systems on the Internet.
  789.  
  790. Features include:
  791.  
  792. - Distributed databases: a reference database can be shared among
  793.   multiple sites.  Updates can be entered at any site, and will be
  794.   propagated to the other sites holding a replica of the database.
  795.  
  796. - Multiple databases: every database has a name, and users specify the
  797.   order in which databases will be searched.
  798.  
  799. - Private databases: databases can be private, available site-wide, or
  800.   they can be made available to other sites.
  801.  
  802. - Database query by keyword, author, and title word.
  803.  
  804. - Translator for refer-format databases.
  805.  
  806. - Usable with LaTeX documents: the internal refdbms format can be
  807.   translated into a special BibTeX format.
  808.  
  809. An up-to-date list of bibliographies exported by various institutions
  810. may be obtained using anonymous ftp from
  811. ftp.cse.ucsc.edu:pub/refdbms/current-databases.
  812.  
  813.  
  814. ------------------------------
  815. Subject: [4.3] Willow -- the information looker-upper
  816. From: General Internet-accessible resources
  817.  
  818. Washington University's Willow system provides a Motif-based user
  819. interface to a heterogeneous collection of on-line bibliographic
  820. databases.  It will compile and run on most systems which provide a
  821. Motif library.
  822.  
  823. For further information, see the Willow home page at
  824. http://www.cac.washington.edu/willow/home.html.
  825.  
  826.  
  827. ------------------------------
  828. Subject: [4.4] The comp.os.research archive
  829. From: General Internet-accessible resources
  830.  
  831. [93-02-18-21-18.31] An archive of all messages posted to
  832. comp.os.research since 1988 is maintained at UC Santa Cruz.  It may be
  833. accessed via anonymous ftp at
  834. ftp.cse.ucsc.edu:pub/comp.os.research.  The archive is organised
  835. by year.
  836.  
  837. Postings may also be found via WAIS at UCSC's Computer Science gopher
  838. hole:
  839.     (:source 
  840.      :version  3 
  841.      :ip-address "128.114.134.19"
  842.      :ip-name "ftp.cse.ucsc.edu"
  843.      :tcp-port 210
  844.      :database-name "comp-os-research"
  845.      :cost 0.00 
  846.      :cost-unit :free 
  847.      :maintainer "paul@cse.ucsc.edu"
  848.  
  849.      :description "Server created with WAIS release 8 b5
  850.         on Jul 9 03:51:11 1992 by paul@cse.ucsc.edu
  851.         The files of type netnews used in the index
  852.         were: /home/ftp/pub/comp.os.research"
  853.     )
  854.  
  855.  
  856. ------------------------------
  857. Subject: [5] Disclaimer and copyright
  858. From: Disclaimer and copyright
  859.  
  860. Note that this document is provided as is.  The information in it is
  861. not warranted to be correct; you use it at your own risk.
  862.  
  863. Following recent reports on the <faq-maintainers> list I think it wise
  864. to change the copyright:
  865.  
  866. NOTICE OF COPYRIGHT AND PERMISSIONS
  867.  
  868. Answers to Frequently Asked Questions for comp.os.research (hereafter
  869. referred to as These Articles) are Copyright 1994 by Bryan O'Sullivan
  870. <bosullvn@tcd.ie>.  They may be reproduced and distributed in whole or
  871. in part, subject to the following conditions:
  872.  
  873. - This copyright and permission notice must be retained on all
  874.   complete or partial copies of These Articles.
  875.  
  876. - These Articles may be copied or distributed in part or in full for
  877.   personal or educational use.  Any translation, derivative work, or
  878.   copies made for other purposes must be approved by the copyright
  879.   holder before distribution, unless otherwise stated.
  880.  
  881. - If you distribute These Articles, instructions for obtaining the
  882.   complete current versions of them free or at cost price must be
  883.   included.  Redistributors must make reasonable efforts to maintain
  884.   current copies of These Articles.
  885.  
  886. Exceptions to these rules may be granted, and I shall be happy to
  887. answer any questions about this copyright notice -- write to Bryan
  888. O'Sullivan, 14 Pleasant Drive, Mount Pleasant, Waterford, Ireland or
  889. email <bosullvn@tcd.ie>.  These restrictions are here to protect the
  890. contributors, not to restrict you as educators and learners.
  891.  
  892.